Classmethod AI Talks(CATs)の第1回「Zennへのスパム投稿が急増したのでLLMでなんとかした話」で登壇しました

新規事業部Zennチームの@dyoshikawaです。

Classmethod AI Talks(CATs)の第1回「Zennへのスパム投稿が急増したのでLLMでなんとかした話」で登壇しました。

https://cats.doorkeeper.jp/events/176943

登壇資料

Classmethod AI Talks(CATs)について

https://cats.doorkeeper.jp/

クラスメソッド株式会社では、長らく自社ブログ『DevelopersIO』に於いて様々なアウトプットを行ってきました。最近は生成AIについても積極的な情報発信を行っており、読者の皆様から色々な反響、反応を頂いています。

そんな中で、生成AIに興味関心をお持ちの方々とより積極的なやり取り、交流を行いたいと思い、この度「クラスメソッド発」の生成AIコミュニティを立ち上げることにしました。

なお、コミュニティ名の中に「Classmethod」と入っていますが、クラスメソッド側からの発信だけではなく、参加者の皆様との相互コミュニケーションを図っていければと考えています。

生成AIに興味関心をお持ちの方、生成AIについて色々語りたい！という方の参加をお待ちしています。

登壇内容の概要

本登壇では、Zennプラットフォームにおけるスパム投稿の急増問題とその対策として導入したLLM（生成AI）を活用した自動検出システムについて説明いたしました。

以下に概要を紹介します。

課題の背景

• 2024年6月頃からスパム投稿が急増
• 少人数で開発・運用を行っており、人力では対処が困難

LLMの選定

• Google Cloud Vertex AIプラットフォームの利用
• Gemini 1.5 Proモデルの選定理由と比較検討プロセス

プロンプトの調整・構成の検討

• プロンプトの調整と検証プロセス
• Ruby on Railsを用いたシステム構築
• Cloud Schedulerを使用した定期的な巡回

段階的な本番導入

• リスクを最小化しつつ、早期フィードバックを得るアプローチ
• 対象期間や対象コンテンツを絞った導入から始め、徐々に拡大

結果

• スパム検出件数が3000%増加
• スパム疑い投稿を約80〜90%削減見込み
• 月間140時間相当の運用工数を削減

今後の展望

• プロンプトの継続的な最適化
• 他の領域へのLLM応用の検討